Mask R-CNN

Overview

Concept

Mask R-CNN 利用了相當簡潔與彈性的方法進行實例分割, 主要跟 Faster R-CNN 不同的地方在於原架構有 2 個分支

1. Classification branch
2. Bounding box branch

而 Mask R-CNN 的方法則是多加了另一個分支 — Mask branch。

Mask branch

Loss function

L_total = L_cls + L_box + L_mask

L_cls 跟 L_box的可以參考Fast-RCNN

J(θ)=−1m[∑mi=1y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]

ROI Alignment

ROI POOLING

ROI POOLING 概念如下圖所示

\mathcal {F_{i}^{RoI}}_{(u^\prime,v^\prime)} = \sum_{(u,v)}^{W \times H} G(u,v;u^\prime, v^\prime|B_i) \mathcal F_(u,v)